Lambda コンテナイメージで Puppeteer を使ってみた
Lambda コンテナイメージで Puppeteer を使ってみました。これからは、Lambda でヘッドレスモードの Chrome が気軽に利用できますね。
追記：こちらの記事で掲載している nodejs コンテナイメージベースの Puppeteer を、実際の AWS Lambda 環境で動かしてみたところコアダンプ等のエラーが発生し動作しないことを確認しております。実際に AWS Lambda 環境で Puppeteer を利用する方法としては、下記の記事を参考に alixaxel/chrome-aws-lambda を利用されるのが良いかと思われます。
先日の re:Invent にて Lambda Container Support が発表されました。
注意：こちらの手順は、ローカル環境で Amazon ECR Public Gallery の nodejs コンテナイメージをベースに Puppeteer が動作することを検証した記事となっております。
検証環境について
筆者のローカル環境は、以下の構成です。
$ sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H15 $ docker -v Docker version 20.10.0, build 7287ab3 curl -V curl 7.64.1 (x86_64-apple-darwin19.0) libcurl/7.64.1 (SecureTransport) LibreSSL/2.8.3 zlib/1.2.11 nghttp2/1.39.2 Release-Date: 2019-03-27 Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS GSS-API HTTP2 HTTPS-proxy IPv6 Kerberos Largefile libz MultiSSL NTLM NTLM_WB SPNEGO SSL UnixSockets
やってみた
用意するファイルは、２つだけ
- app.js
- Dockerfile
Dockerfile は、以下のとおりです。
FROM public.ecr.aws/lambda/nodejs:12
LABEL example=lambda-container
ARG LAMBDA_TASK_ROOT="/var/task"
RUN yum install -y https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
RUN npm install puppeteer-core
COPY app.js ${LAMBDA_TASK_ROOT}
CMD [ "app.handler" ]
Amazon ECR Public Gallery の nodejs コンテナイメージをベースに google-chrome-stable と puppeteer-core をインストールしてソースコードを LAMBDA_TASK_ROOT（/var/task）にコピーしハンドラーを起動しています。
次に、app.js
const puppeteer = require('puppeteer-core');
exports.handler = async (event) => {
const browser = await puppeteer.launch({
headless: true,
executablePath: '/usr/bin/google-chrome-stable',
args: [
'--no-sandbox',
'--disable-setuid-sandbox'
]
});
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({path: 'example.png'});
await browser.close();
const response = {
statusCode: 200,
};
return response;
};
yum インストールした Chrome をヘッドレスモードで起動し、https://example.com のスクリーンショットを example.png として保存するサンプルになります。
先の Dockerfile を利用して、コンテナイメージをビルドします。
$ docker build -t example . Sending build context to Docker daemon 32.26kB Step 1/7 : FROM public.ecr.aws/lambda/nodejs:12 ---> 80d7260f97c9 Step 2/7 : LABEL example=lambda-container ---> Running in 8a9ed315b107 Removing intermediate container 8a9ed315b107 ---> df5ef5d27555 Step 3/7 : ARG LAMBDA_TASK_ROOT="/var/task" ---> Running in 3866d4a3a2d7 Removing intermediate container 3866d4a3a2d7 ---> ecca97455032 Step 4/7 : RUN yum install -y https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm ---> Running in 9bdd12ea0473 Loaded plugins: ovl Examining /var/tmp/yum-root-_IfE9n/google-chrome-stable_current_x86_64.rpm: google-chrome-stable-87.0.4280.88-1.x86_64 Marking /var/tmp/yum-root-_IfE9n/google-chrome-stable_current_x86_64.rpm to be installed Resolving Dependencies --> Running transaction check ---> Package google-chrome-stable.x86_64 0:87.0.4280.88-1 will be installed : 略 : Installed: google-chrome-stable.x86_64 0:87.0.4280.88-1 Dependency Installed: acl.x86_64 0:2.2.51-14.amzn2 adwaita-cursor-theme.noarch 0:3.26.0-1.amzn2 adwaita-icon-theme.noarch 0:3.26.0-1.amzn2 alsa-lib.x86_64 0:1.1.4.1-2.amzn2 at-spi2-atk.x86_64 0:2.22.0-2.amzn2.0.2 at-spi2-core.x86_64 0:2.22.0-1.amzn2.0.2 atk.x86_64 0:2.22.0-3.amzn2.0.2 audit-libs.x86_64 0:2.8.1-3.amzn2.1 avahi-libs.x86_64 0:0.6.31-20.amzn2 cairo.x86_64 0:1.15.12-4.amzn2 cairo-gobject.x86_64 0:1.15.12-4.amzn2 colord-libs.x86_64 0:1.3.4-1.amzn2.0.2 cracklib.x86_64 0:2.9.0-11.amzn2.0.2 cracklib-dicts.x86_64 0:2.9.0-11.amzn2.0.2 cryptsetup-libs.x86_64 0:1.7.4-4.amzn2 cups-libs.x86_64 1:1.6.3-51.amzn2 dbus.x86_64 1:1.10.24-7.amzn2 dbus-libs.x86_64 1:1.10.24-7.amzn2 dconf.x86_64 0:0.28.0-4.amzn2 dejavu-fonts-common.noarch 0:2.33-6.amzn2 dejavu-sans-fonts.noarch 0:2.33-6.amzn2 desktop-file-utils.x86_64 0:0.23-2.amzn2 device-mapper.x86_64 7:1.02.146-4.amzn2.0.2 device-mapper-libs.x86_64 7:1.02.146-4.amzn2.0.2 elfutils-default-yama-scope.noarch 0:0.176-2.amzn2 elfutils-libs.x86_64 0:0.176-2.amzn2 emacs-filesystem.noarch 1:25.3-3.amzn2.0.2 fontconfig.x86_64 0:2.13.0-4.3.amzn2 fontpackages-filesystem.noarch 0:1.44-8.amzn2 freetype.x86_64 0:2.8-14.amzn2.1 fribidi.x86_64 0:1.0.2-1.amzn2.1 gdk-pixbuf2.x86_64 0:2.36.12-3.amzn2 glib-networking.x86_64 0:2.56.1-1.amzn2 gnutls.x86_64 0:3.3.29-9.amzn2 graphite2.x86_64 0:1.3.10-1.amzn2.0.2 gsettings-desktop-schemas.x86_64 0:3.28.0-3.amzn2.0.1 gtk-update-icon-cache.x86_64 0:3.22.30-3.amzn2 gtk3.x86_64 0:3.22.30-3.amzn2 gzip.x86_64 0:1.5-10.amzn2 harfbuzz.x86_64 0:1.7.5-2.amzn2 hicolor-icon-theme.noarch 0:0.12-7.amzn2 hwdata.x86_64 0:0.252-9.3.amzn2 jasper-libs.x86_64 0:1.900.1-33.amzn2 jbigkit-libs.x86_64 0:2.0-11.amzn2.0.2 json-glib.x86_64 0:1.4.2-2.amzn2 kmod.x86_64 0:25-3.amzn2.0.2 kmod-libs.x86_64 0:25-3.amzn2.0.2 lcms2.x86_64 0:2.6-3.amzn2.0.2 libX11.x86_64 0:1.6.7-3.amzn2 libX11-common.noarch 0:1.6.7-3.amzn2 libXau.x86_64 0:1.0.8-2.1.amzn2.0.2 libXcomposite.x86_64 0:0.4.4-4.1.amzn2.0.2 libXcursor.x86_64 0:1.1.15-1.amzn2 libXdamage.x86_64 0:1.1.4-4.1.amzn2.0.2 libXext.x86_64 0:1.3.3-3.amzn2.0.2 libXfixes.x86_64 0:5.0.3-1.amzn2.0.2 libXft.x86_64 0:2.3.2-2.amzn2.0.2 libXi.x86_64 0:1.7.9-1.amzn2.0.2 libXinerama.x86_64 0:1.1.3-2.1.amzn2.0.2 libXrandr.x86_64 0:1.5.1-2.amzn2.0.3 libXrender.x86_64 0:0.9.10-1.amzn2.0.2 libXtst.x86_64 0:1.2.3-1.amzn2.0.2 libXxf86vm.x86_64 0:1.1.4-1.amzn2.0.2 libcap-ng.x86_64 0:0.7.5-4.amzn2.0.4 libdrm.x86_64 0:2.4.97-2.amzn2 libepoxy.x86_64 0:1.3.1-2.amzn2 liberation-fonts.noarch 1:1.07.2-16.amzn2 liberation-fonts-common.noarch 1:1.07.2-16.amzn2 liberation-mono-fonts.noarch 1:1.07.2-16.amzn2 liberation-narrow-fonts.noarch 1:1.07.2-16.amzn2 liberation-sans-fonts.noarch 1:1.07.2-16.amzn2 liberation-serif-fonts.noarch 1:1.07.2-16.amzn2 libfdisk.x86_64 0:2.30.2-2.amzn2.0.4 libglvnd.x86_64 1:1.0.1-0.1.git5baa1e5.amzn2.0.1 libglvnd-egl.x86_64 1:1.0.1-0.1.git5baa1e5.amzn2.0.1 libglvnd-glx.x86_64 1:1.0.1-0.1.git5baa1e5.amzn2.0.1 libgusb.x86_64 0:0.2.9-1.amzn2.0.2 libidn.x86_64 0:1.28-4.amzn2.0.2 libjpeg-turbo.x86_64 0:1.2.90-6.amzn2.0.3 libmodman.x86_64 0:2.0.1-8.amzn2.0.2 libpciaccess.x86_64 0:0.14-1.amzn2 libpng.x86_64 2:1.5.13-8.amzn2 libproxy.x86_64 0:0.4.11-10.amzn2.0.3 libpwquality.x86_64 0:1.2.3-5.amzn2 libsemanage.x86_64 0:2.5-11.amzn2 libsmartcols.x86_64 0:2.30.2-2.amzn2.0.4 libsoup.x86_64 0:2.56.0-6.amzn2 libthai.x86_64 0:0.1.14-9.amzn2.0.2 libtiff.x86_64 0:4.0.3-35.amzn2 libusbx.x86_64 0:1.0.21-1.amzn2 libutempter.x86_64 0:1.1.6-4.amzn2.0.2 libwayland-client.x86_64 0:1.17.0-1.amzn2 libwayland-cursor.x86_64 0:1.17.0-1.amzn2 libwayland-egl.x86_64 0:1.17.0-1.amzn2 libwayland-server.x86_64 0:1.17.0-1.amzn2 libxcb.x86_64 0:1.12-1.amzn2.0.2 libxkbcommon.x86_64 0:0.7.1-3.amzn2 libxshmfence.x86_64 0:1.2-1.amzn2.0.2 lz4.x86_64 0:1.7.5-2.amzn2.0.1 mesa-libEGL.x86_64 0:18.3.4-5.amzn2.0.1 mesa-libGL.x86_64 0:18.3.4-5.amzn2.0.1 mesa-libgbm.x86_64 0:18.3.4-5.amzn2.0.1 mesa-libglapi.x86_64 0:18.3.4-5.amzn2.0.1 nettle.x86_64 0:2.7.1-8.amzn2.0.2 pam.x86_64 0:1.1.8-23.amzn2.0.1 pango.x86_64 0:1.42.4-4.amzn2 pixman.x86_64 0:0.34.0-1.amzn2.0.2 qrencode-libs.x86_64 0:3.4.1-3.amzn2.0.2 rest.x86_64 0:0.8.0-2.amzn2 shadow-utils.x86_64 2:4.1.5.1-24.amzn2.0.2 systemd.x86_64 0:219-57.amzn2.0.12 systemd-libs.x86_64 0:219-57.amzn2.0.12 trousers.x86_64 0:0.3.14-2.amzn2.0.2 ustr.x86_64 0:1.0.4-16.amzn2.0.3 util-linux.x86_64 0:2.30.2-2.amzn2.0.4 vulkan.x86_64 0:1.0.61.1-2.amzn2 vulkan-filesystem.noarch 0:1.0.61.1-2.amzn2 wget.x86_64 0:1.14-18.amzn2.1 which.x86_64 0:2.20-7.amzn2.0.2 xdg-utils.noarch 0:1.1.0-0.17.20120809git.amzn2 xkeyboard-config.noarch 0:2.20-1.amzn2 Complete! Removing intermediate container 9bdd12ea0473 ---> f4731c48c18d Step 5/7 : RUN npm install puppeteer-core ---> Running in 177559a5bc04 npm WARN saveError ENOENT: no such file or directory, open '/var/task/package.json' npm notice created a lockfile as package-lock.json. You should commit this file. npm WARN enoent ENOENT: no such file or directory, open '/var/task/package.json' npm WARN task No description npm WARN task No repository field. npm WARN task No README data npm WARN task No license field. + [email protected] added 54 packages from 75 contributors and audited 54 packages in 3.98s 8 packages are looking for funding run `npm fund` for details found 0 vulnerabilities Removing intermediate container 177559a5bc04 ---> 0810cea6a9f0 Step 6/7 : COPY app.js ${LAMBDA_TASK_ROOT} ---> f0a47cd52a53 Step 7/7 : CMD [ "app.handler" ] ---> Running in 0429754cc7a7 Removing intermediate container 0429754cc7a7 ---> eab9382dbeb3 Successfully built eab9382dbeb3 Successfully tagged example:latest
コンテナイメージがビルドできたら、ターミナルから docker コマンドを利用して、ローカル環境でコンテナを起動します。
$ docker run -it --name example -p 9000:8080 example INFO[0000] exec '/var/runtime/bootstrap' (cwd=/var/task, handler=)
起動できました。
次に別のターミナルから、curl コマンドで POST リクエストを送信します。
$ curl -XPOST "http://localhost:9000/2015-03-31/functions/function/invocations" -d '{"payload":"hello world!"}'
{"statusCode":200}
Docker コンテナを起動しているターミナルには、ログが出力されます。
$ docker run -it --name example -p 9000:8080 example INFO[0000] exec '/var/runtime/bootstrap' (cwd=/var/task, handler=) INFO[0030] extensionsDisabledByLayer(/opt/disable-extensions-jwigqn8j) -> stat /opt/disable-extensions-jwigqn8j: no such file or directory WARN[0030] Cannot list external agents error="open /opt/extensions: no such file or directory" START RequestId: b3ed3890-c2ba-438b-a5a3-7f3d595a344a Version: $LATEST END RequestId: b3ed3890-c2ba-438b-a5a3-7f3d595a344a REPORT RequestId: b3ed3890-c2ba-438b-a5a3-7f3d595a344a Init Duration: 0.33 ms Duration: 1049.27 ms Billed Duration: 1100 ms Memory Size: 3008 MB Max Memory Used: 3008 MB
それでは、https://example.com のスクリーンショット（example.png）が保存されているか確認しましょう。
curl コマンドを実行したターミナルで、コンテナから画像ファイル（example.png）をコピーします。
$ docker cp example:/var/task/example.png .
コピーした画像は、以下のとおりです。
ちゃんとキャプチャできてますね。
さいごに
ローカル環境でのコンテナイメージサイズを確認すると、1.2GB 程度の規模でした。
$ docker images -f label=example REPOSITORY TAG IMAGE ID CREATED SIZE example latest 29df2f38a5f3 7 seconds ago 1.2GB
Lambda 関数は最大で 10GB のコンテナイメージ をサポートしているため、これまでよりも Lambda の活用シーンや利用機会が増えるのではないかと期待しております。
ではでは
![[アップデート] Amazon CloudFront と Lambda 関数 URL オリジンの OAC の設定が AWS CDK で簡単に実装可能になりました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-f66629e23bafcf47fa6477fd0349a4f7/3e371b05917375d87daf613d54a600d8/amazon-cloudfront)
![[Auth0] Auth0+Amazon EventBridge+AWS Lambda+New Relicで認証・認可のログを自動分析、可視化できるようにしてみた [New Relic]](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-e37cf03c5caac969de0f633e4738977d/1862834d1806cb03b64a8000a5a1a39e/Auth0ByOkta.jpg)
